Headroom-Drift Replay：GRPO 中的原则性重放控制原语
🧭 GRPO 重放控制 · 样本选择
Department of Artificial Intelligence, Sogang University
将 GRPO 重放控制拆为按剩余学习价值排序的 Headroom 与按策略兼容性门控的 Drift，不改动 on-policy 流即减少交互成本。
📌 工作参考价值（4 点）
- 在需要昂贵环境/用户交互的 RL 训练（如 Agentic Search、对话推荐、广告策略优化）中，可引入两层重放控制：先用 Headroom 对历史 trajectory group 按剩余学习价值排序，再用 Drift 过滤与当前策略偏差过大的样本；保留 on-policy 新鲜流不变，避免大规模改动训练管线。
- 把重放选择从训练 pipeline 中解耦成独立原语，方便在已有 GRPO/RLVR 代码上快速实验：只需修改 buffer 采样入口，无需加蒸馏、重要性加权或混合策略优化。
- 如果业务中 rollout 成本主要在环境交互而非模型推理，优先评估 replay 的 wall-clock 收益；该工作表明在 Agentic Search 中可比质量下显著降低耗时，适合交互式/仿真器昂贵的推荐智能体场景。
- 注意 group-level 而非单条复用，保持 GRPO 比较组结构；复用时按 group 整组排序和过滤，避免破坏相对优势信号。
智能体游戏开发：作为可验证轨迹数据引擎扩展世界模型
🧭 世界模型 · 可验证奖励 · RL post-training
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology · Independent Researcher
提出 RLHEV 后训练范式，用游戏引擎可执行验证与人类隐式接受信号，为世界模型提供可奖励轨迹数据。
📌 工作参考价值（4 点）
- 在电商/Agent 场景，借鉴“可执行验证”思路：用库存、价格、物流时效、广告合规等确定性业务规则作为 dense verifier，替代 CLIP 这类模糊 proxy；同时用点击/成交/无投诉等隐式人类反馈做 global signal，构建 RL post-training 奖励。
- 把生产中的长程交互日志（搜索→浏览→加购→下单→售后）当作 trajectory data，回流训练 Agent；类似论文将 game development 过程转为可验证轨迹。
- 对跨域/跨环境泛化：论文中发现 transfer learning 对 OOD shift 有正向信号，电商可尝试在相似但不同的域（不同站点、类目、流量渠道）做预训练+微调，并设计可控实验评估。
- 若业务有模拟器（如供应链仿真、店铺经营模拟），可以低成本合成违规/可玩性等验证信号，给 LLM/Agent 提供递归数据引擎；没有模拟器时，也可从人工审核/退款/纠纷数据中抽取弱监督信号。
VibeWorlding：多模态智能体能端到端构建3D开放世界吗？
🧭 多模态 Agent 3D 世界构建
AI Thrust, HKUST(GZ) · TEG AIPD, Tencent
提出 VibeWorlding 基准与训练框架，用多模态 RL 让开源 MLLM 在 3D 开放世界构建任务上超越闭源前沿模型。
📌 工作参考价值（4 点）
- rubric-based verifier 可迁移到 agent 闭环评估：把奖励分解为“可行性”和“意图满足”两类维度，用规则检测器（如碰撞检测）和 LLM 评分结合，能低成本扩展为 RL reward service，适合需要自动化评估长轨迹 agent 的场景。
- MCP 工具化沙箱：将检索、编辑、渲染等异构工具统一为 MCP 接口，方便 agent 调用并与 RL 训练环境解耦；可直接复用到商品图片生成、页面布局、活动落地页等 agent 工作流。
- 反向合成数据降低标注成本：人工构建少量种子世界，再反向生成大量多样化用户查询，可迁移到电商场景生成“意图→页面/推荐”训练对，减少人工标注。
- RL post-training 可针对性突破能力瓶颈：当闭环评估显示模型在特定环节（如编辑）弱，针对性 RL 训练能让开源模型超越闭源前沿，提示针对业务闭环的 agent RL 值得投入。